Vào thế chiến II, Đức và Liên Xô chính là hai cường quốc quân sự chính sử dụng pháo tự hành trong chiến tranh. Đức áp dụng chiến thuật Chiến tranh chớp nhoáng - bộ binh và thiết giáp tấn công cùng với máy bay hỗ trợ. Lực lượng quân đội Đức đã chế tạo ra được rất nhiều loại pháo tự hành nổi tiếng và có hỏa lực cao. Trong cuộc tấn công Ba Lan (1939), cũng như trận chiến nước Pháp (1940) và Chiến dịch Barbarossa (1941)… quân đội Đức đã sử dụng pháo tự hành để tiêu diệt-phá hủy các cụm quân địch và các pháo đài. Thế chiến II cũng là thời kì mà một số loại pháo tự hành siêu trường siêu trọng ra đời.

Cùng với Đức Quốc xã, Liên Xô chính là nước thứ hai sử dụng pháo tự hành trong phần lớn trận đánh.Pháo tự hành của Liên Xô dù ra đời sau Đức Quốc xã và có hỏa lực manh và sức chiến đấu tốt hơn pháo tự hành Đức,đổi lại thì lượng đạn mang được của các pháo tự hành Liên Xô thường ít hơn nhiều so với pháo tự hành Đức. Điển hình chính là các pháo ISU-152, ISU-122 và SU-100... Lực lượng pháo tự hành Xô-Viết có lớp giáp bọc rất dày và độ công phá của nó thì rất mạnh so với tiêu chuẩn thời bấy giờ. Pháo tự hành của Đức cũng vậy nhưng kém hơn về hỏa lực bắn.

Sau thế chiến II,pháo tự hành đã thay đổi về toàn bộ thiết kế và kết cấu.Lực lượng pháo tự hành đã trở thành một trong những binh chủng chính trong quân đội các nước từ sau chiến tranh lạnh.